Ông tổ 9 đời của Quỳ là Giả Nghị, từng được làm Thái phó của Lương Hiếu vương Lưu Vũ thời Hán Văn đế. Ông cụ là Giả Quang, được làm đến Thường Sơn thái thú; thời Hán Tuyên đế, Quang lấy tư cách viên Lại nhận bổng lộc 2000 thạch/năm để dời nhà từ Lạc Dương đến Bình Lăng. Cha là Giả Huy, được Lưu Hâm dạy Tả thị Xuân Thu, kèm thêm Quốc ngữ (国语), Chu quan (tức Chu lễ), còn được Đồ Uẩn dạy Cổ văn Thượng thư (1 phiên bản của kinh Thư), được Tạ Mạn Khanh dạy Mao thi (1 phiên bản của kinh Thi); trước tác Tả thị Điều lệ 21 thiên.